연구개발과 기술이전 활동의 단계별 효율성 측정에 관한 연구

A Study on the Phased Efficiency Evaluation of R&D and Technology Transfer

* 주저자, 한국과학기술기획평가원(kildonghong@kistep.re.kr)

** 교신저자, 한국과학기술기획평가원(kildonghong@kistep.re.kr)

*** 공동저자, 동국대학교-서울캠퍼스 경영학과(kildonghong@dongguk.edu)

홍길동* ․ 홍길동** ․ 홍길동**

Kil-Dong Hong ․ Kil-Dong Hong ․ Kil-Dong Hong

	<목 차>
Ⅰ. 서 론 Ⅱ. DEA 기본 모형 Ⅲ. Two-Stage DEA 모형		Ⅳ. 적용 사례 Ⅴ. 결 론 5.1 연구 결과 및 이론적 시사점 5.2 생산성 함의에 대한 실무적 시사점 <<양식 5.3 연구의 한계점 <참고문헌>

Ⅰ. 서 론

R&D 활동을 보다 생산적으로 변모시키기 위해서는 우선 R&D 활동의 생산성을 측정하는 것이 선행되어야 한다(Karlsson et al., 2004). 이로 인해 R&D 활동의 생산성을 측정하기 위한 다수의 연구들이 진행되어 왔다. 생산성의 측정방법에 있어서 total factor productivity(TFP)가 선행연구들(Brown and Gobeli, 1992)에서 주로 사용되어 왔으나 다수의 산출물이 있는 경우에는 사용될 수 없다는 단점을 지니고 있었다. 이러한 단점을 보완하는 방법으로 R&D 활동의 생산성을 측정하기 위해 자료포락분석(DEA)을 사용하여 다수의 투입물과 다수의 산출물이 존재하는 경우를 고려하는 연구들이 있어왔다(임호순·유석천·김연성(1999), 고민수·이덕주(2002), 강진수·이덕주·배성식(2004)).

DEA 기법은 다수의 투입과 산출 요소를 가진 의사결정 단위(Decision Making Units, DMU)의 효율성을 평가하기 위한 모형으로 Charnes et al.(1978)에 의해 개발되었다. 다수의 대안에 대하여 가장 효율적인 대안을 찾아내는 것에 대한 연구는 이미 오래 전부터 이루어져 왔으며, 이의 한 방안으로 DEA가 제안되었다. DEA는 각 의사결정 단위(DMU; decision making units)의 효율성을 평가하는데 있어서, 의사결정 단위에 투입되는 다수의 투입요소와 그로 인해 산출되는 다수의 산출요소에 대한 가중치를 각 의사결정단위의 입장에서 가장 유리한 값을 구하는 선형계획모형(linear programming model)을 풀어냄으로써 각 의사결정 단위의 효율성 값을 도출하게 된다. DEA의 특징은 최소한의 정보를 활용하여 여러 조직이나 사업 과제에 대하여 효율 또는 비효율성을 객관적으로 판별할 수 있게 해준다는 점에 있다. 연구개발사업의 평가 시에는 다수의 평가기준이 존재하며, 이 기준들을 통합할 하나의 방편으로 각 평가기준의 중요도에 대한 가중치를 선험적으로 부여하는 것이 일반적인 방법이다. 그러나 평가기준들의 중요도에 대한 선험적 가중치란 본질적으로 주관적 판단에 속하는 문제로, 이 부분의 객관성 결여가 평가 과정 전체의 객관성을 해칠 가능성이 있다. 그러나 DEA 기법은 평가 기준 간 선험적 가중치의 부여를 반드시 필요로 하지는 않으며, 가중치가 모형에 추가되는 경우에도 단일 값이 아니라 구간 값 만 있으면 충분하다. 따라서 DEA 기법은 연구개발 사업의 평가 및 선정이라는 의사결정 과정에 객관성을 부여할 수 있는 모형의 하나라고 볼 수 있다. DEA를 연구개발사업 분석에 적용하기 위해서는 각 의사결정 단위를 연구개발사업으로 간주하고, 각 사업들의 공통적인 투입요소와 산출요소를 설정하여 각 사업별 상대적인 효율성 값들에 의해 사업을 평가하는 것을 생각해 볼 수 있다.

그러나 기존에 적용된 DEA 모형들은 단순한 투입 및 산출의 구조에 국한되어 효율성을 측정하였기 때문에, 중장기적인 대형 연구개발사업에서와 같이 단계적으로 발생되는 성과들에 대해서는 단기적 성과와 중장기적 성과 간의 관계를 고려하지 않고 동일한 레벨의 성과로 간주하여 효율성을 측정하게 되므로, 단계적 성과들의 가치사슬적 효율성을 개선시키는 노력이 부족하였다. 즉, 전체적으로는 효율성이 높게 평가된다 하더라도 각 단계별로는 효율성이 낮은 경우가 발생할 수 있으며 전체적인 효율성은 같더라도 각 단계별로 분리해 보면 단계별 효율성에는 차이가 존재할 수 있게 된다. 이러한 상황에서는 단계적인 가치사슬적 접근을 통해 세부적인 비효율성의 원인과 현상 분석이 필요하다.

본 연구에서는 기존의 효율성 측정 방식인 DEA를 단순한 투입과 산출로 구성된 시스템이 아닌 2-단계의 프로세스를 거치는 다단계(Multi-stage) 프로세스에서 효율성을 측정하기 위한 보다 확장된 모델을 적용하여 정부연구개발사업의 성과를 분석하는 예를 보이고자 한다. 중장기적 대형 실용화 연구개발사업을 대상으로 단기적 성과(Output)와 중장기적 성과(Outcome)의 단계적 개념에 적용하여, 가치사슬 차원에서 각 단계의 수행능력을 정확히 파악하여 각각의 구성요소의 효율성 여부를 적절히 제시하고 결과적으로 벤치마킹의 대상이 되는 목표 값으로의 개선치를 제시하였다. 이를 통해 가치사슬적 관점에서 단계별 성과 진행의 특성을 고려하여 어느 단계에서 비효율이 발생하였는지 확인 할 수 있는 DEA의 개념적 기반을 정리하고 분석 결과를 통해 그 실효성 여부에 대해 논의하였다.

Ⅱ. DEA 기본 모형

DEA는 복수의 투입 요소와 산출 요소를 동일하게 갖는 동질의 의사결정단위 집합에 대해, 각 DMU의 상대적 효율성을 측정하는 분석 모형이다. n개의 DMU가 있고 m개의 투입 요소, s개의 산출 요소가 있을 때, 평가 대상이 되는 DMU p의 상대적 효율성 점수는 Charnes et al.(1978)에 의해 제안된 다음과 같은 선형계획법 모형으로 계산할 수 있다.

[eqn: Max _{u,`v`} ``` sum _{k``=1} ^{s} ``v _{k} ``y _{kp}# s.t.````````````````` sum _{j``=1} ^{m} ``u _{j} ``x _{jp} ``=`1# ```````````````````````````` sum _{k``=1} ^{s} ``v _{k} ``y _{ki} ``-``` sum _{j``=1} ^{m} ``u _{j} ``x _{ji} LEQ `0``,````` FORALL i# ```````````````````````````u _{j} `` GEQ `0`,```v _{k} GEQ `0``,`````` FORALL j,k]

(수식 1) Input-Oriented Multiplier CCR

[eqn: Min _{u,`v`} ``` sum _{k``=1} ^{s} ``u _{j} ``x _{jp}# s.t.````````````````` sum _{j``=1} ^{m} ``v _{k} ``y _{kp} ``=`1# ```````````````````````````` sum _{k``=1} ^{s} ``v _{k} ``y _{ki} ``-``` sum _{j``=1} ^{m} ``u _{j} ``x _{ji} LEQ `0``,````` FORALL i# ```````````````````````````u _{j} `` GEQ `0`,```v _{k} GEQ `0``,`````` FORALL j,k]

(수식 2) Output-Oriented Multiplier CCR

(수식 1)과 (수식 2)는 각각 투입지향적 승수형 CCR 모형과 산출지향적 승수형 CCR 모형이라고 불린다. 여기서 [eqn: y _{ki}]는 DMU [eqn: i]가 생성하는 산출 요소 [eqn: k]의 양, [eqn: x _{ji}]는 DMU [eqn: i]가 사용하는 투입 요소 [eqn: j]의 양, [eqn: v _{k}]는 산출 요소 [eqn: k]에 부과되는 가중치, [eqn: u _{j}]는 투입 요소 [eqn: j]에 부과되는 가중치를 의미한다. 이와 같이 Charnes 등이 최초로 개발한 것을 CCR 모형이라 부르며, CCR 모형은 규모수익성(Return to scale: RTS)이 일정하다고 가정하고 선형계획모형으로 정식화 한다. 이 문제를 평가 대상을 바꿔가며 n번 풀면 모든 DMU들의 상대적 효율성 점수를 구할 수 있으며, 각각의 DMU에 대해 그 효율성 점수를 최대화시킬 수 있는 산출 요소 및 투입 요소의 가중치들이 구해진다. 효율성 점수, 즉 최적 목적함수 값은 0 보다 크고 1보다 작거나 같다. 하나의 DMU에 대해 그 효율성 점수가 1인 경우 해당 DMU는 효율적이라고 하고, 1 미만인 경우에는 비효율적이라고 한다. 모든 비효율적 DMU에 대해, 성과 개선을 위한 벤치마킹 대상으로 삼을 수 있는 효율적 DMU들의 집합, 즉 참조집합(reference set)을 구할 수 있는데 다음의 쌍대 문제를 풀어 찾을 수 있다.

[eqn: Min _{theta , lambda `} ``` theta # s.t.````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``x _{ji} ` LEQ ` theta `x _{jp`} `,````` FORALL j# ``````````````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``y _{ki} ` GEQ `y _{kp`} `,````` FORALL k# ``````````````````````````` lambda _{i} `` GEQ `0`,``` FORALL i]

(수식 3) Input-Oriented Envelopment CCR

[eqn: Max _{phi , lambda `} ``` phi # s.t.````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``x _{ji} ` LEQ `x _{jp`} `,````` FORALL j# ``````````````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``y _{ki} ` GEQ ` phi `y _{kp`} `,````` FORALL k# ``````````````````````````` lambda _{i} `` GEQ `0`,``` FORALL i]

(수식 4) Output-Oriented Envelopment CCR

(수식 3)과 (수식 4)는 각각 투입지향적 포락형 CCR 모형과 산출지향적 포락형 CCR 모형이라고 불린다. 여기서 [eqn: theta]와 [eqn: phi]는 효율성 점수로 [eqn: theta ` LEQ 1], [eqn: phi ` GEQ `1]의 값을 가지며, [eqn: lambda]는 쌍대변수이다. 이 문제를 통해 DMU p보다 더 적은 투입 요소를 사용하면서도 더 많은 산출 요소를 생성할 수 있는 DMU들의 결합체(DMU들의 선형 결합)를 식별할 수 있고, [eqn: lambda]가 그 선형 결합 계수에 해당한다. DMU p는 이 DMU들의 결합체를 벤치마킹 대상으로 삼아 성과를 개선시킬 수 있다.

계산 상의 효율성을 이유로 쌍대문제 형태의 모형이 더 많이 사용된다. 원문제는 분석대상이 되는 DMU의 수만큼에 해당하는 제약식이 포함되는데 반하여 쌍대문제의 경우는 투입요소와 산출요소의 개수 만큼의 제약식이 포함된다. 일반적으로 DMU의 수보다 투입 및 산출 요소의 수가 더 작기 때문에 계산 관점에서 볼 때 쌍대문제가 훨씬 간편하다. 그러나 쌍대문제 형태로만 DEA 모형을 다루게 되면 원문제 모형의 의사결정 변수인 투입․산출 요소에 대한 가중치가 가지는 다양성과 의미에 대해서는 소홀하게 되는 문제도 있다.

CCR 모형의 대안으로서 다양한 확장모형이 개발되었으며, 그 중 Banker et al. (1984)이 개발한 BCC 모형이 대표적이다. BCC에서 효율적 프론티어는 주어진 DMU들의 볼록집합(convex hull)으로 구성되므로 규모수익성이 변동한다고 본다. BCC 모형은 참조집합 [eqn: lambda]의 크기를 1로 제한하는 볼록성(convexity) 조건에 의해 다음과 같이 선형계획모형으로 정식화 할 수 있다. (수식 5)과 (수식 6)는 각각 투입지향적 포락형 BCC 모형과 산출지향적 포락형 BCC 모형이라고 불린다.

[eqn: Min _{theta , lambda `} ``` theta # s.t.````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``x _{ji} ` LEQ ` theta `x _{jp`} ``,````` FORALL j# ``````````````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``y _{ki} ` GEQ `y _{kp`} ``,````` FORALL k# ``````````````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``=`1# ``````````````````````````` lambda _{i} `` GEQ `0`,``` FORALL i]

(수식 5) Input-Oriented Envelopment BCC

[eqn: Max _{phi , lambda `} ``` phi # s.t.````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``x _{ji} ` LEQ `x _{jp`} `,````` FORALL j# ``````````````````````````` sum _{i``=1} ^{n} `` lambda _{i} ``y _{ki} ` GEQ ` phi `y _{kp`} `,````` FORALL k# ``````````````````````````` sum _{i``=1} ^{n} `` lambda _{i} `=`1# ``````````````````````````` lambda _{i} `` GEQ `0`,``` FORALL i]

(수식 ６) Output-Oriented Envelopment BCC

Ⅲ. Two-Stage DEA 모형

DEA에서 사용하는 DMU는 일반적인 의사결정 단위로써 은행, 병원, 제품, 대학, 도시 등 다양한 형태가 될 수 있으며, 특성에 따라 단계적인 구조를 가질 수도 있다. 예를 들면, 은행은 자산과 노동을 투입하여 고객의 예금 유치하고 있으며, 이 예금이 활용되어 은행의 수익을 발생시키고 있다. Seiford and Zhu(1999)는 이러한 단계적 프로세스를 적용하여 미국 은행들의 1단계 수익성과 2단계 시장성에 대한 효율을 측정하였다. 이 연구에서 1단계 수익성 효율은 노동과 자산을 투입 요소로 하여 수익과 매출이 산출되는 것으로 측정하였으며, 2단계 시장성 효율은 1단계의 산출 요소인 수익과 매출을 투입 요소로 하여 시장가치와 주당순이익이 산출되는 것으로 측정하였다. 이 연구에서 DMU는 단계적 프로세스를 내포하고 있으며 각 단계의 사이에는 중간 측정치(intermediate measure)가 존재한다. 1단계의 투입에 의한 산출 요소를 중간 측정치로 정의하며, 이 중간 측정치를 투입하여 2단계의 산출 요소가 발생한다. 이 모형에서 중요한 것은 1단계의 산출 요소는 모두 2단계의 투입 요소가 되며, 1단계의 산출 요소 외에는 독립적인 2단계로의 투입요소가 없다는 것이다.

Chen and Zhu(2004)는 규모수익성 변동의 DEA 모형을 기반으로 각 단계의 효율성이 각 단계 자체적으로 생산이 가능한 집합(Production Possibility Set)으로 정의된 선형적인 2-단계적 DEA (Two-stage DEA) 모형을 개발하였다. 각 단계의 생산 가능 집합은 중간 측정치(intermediate measure)로 연결되어 있으며, 이 중간 측정치는 각 DMU 별로 계산 시 결정되는 결정변수로 정의하였다. 이 모형은 1단계와 2단계 각각에서 효율적이면 전체적으로도 효율적인 결과를 보장하고 있으며, 비효율적 DMU에 대해서는 최적의 중간 측정치 값을 제시하고 있다.

[eqn: Min _{alpha , beta , lambda _{j} , mu _{j} , tilde{z} `} ``T= omega _{1} alpha - omega _{2} beta # # s.t.# (stage`1)`````````` sum _{j``=1} ^{n} `` lambda _{j} ``x _{ij} `` LEQ ` alpha x _{ij _{o}} ``,`````i`=`1,...,m# ``````````````````````````````````````` sum _{j``=1} ^{n} `` lambda _{j} ``z _{dj} `` GEQ ` tilde{z} ` _{dj _{o}} ``,`````d`=`1,...,D# ``````````````````````````````````````` sum _{j``=1} ^{n} `` lambda _{j} ``=`1# ``````````````````````````````````````` lambda _{j} `` GEQ `0`,`````j=1,...,n# ``````````````````````````````````````` alpha LEQ 1``````````````]

[eqn: (stage`2)`````````` sum _{j``=1} ^{n} `` mu _{j} ``z _{dj} `` LEQ ` tilde{z} ` _{dj _{o}} ,`````````d=`1,...,D# ``````````````````````````````````````` sum _{j``=1} ^{n} `` mu _{j} ``y _{rj} `` GEQ beta `y _{rj _{o}} ``,`````r=`1,...,s# ``````````````````````````````````````` sum _{j``=1} ^{n} `` mu _{j} ``=1# ``````````````````````````````````````` mu _{j} `` GEQ `0`,`````j=1,...,n# ``````````````````````````````````````` beta GEQ 1# `]

(수식 ７) TwoーStage Envelopment BCC DEA model by Chen and Zhu(2004)

(수식 7)은 2단계 포락형 BCC 모형이라고 불린다. 여기서, [eqn: omega _{1}]과 [eqn: omega _{2}]는 사용자가 지정하는 1단계와 2단계의 수행 가중치이며, “ ~ ” 표시는 계산 과정에서 결정되는 결정변수를 의미한다. 1 단계의 투입 요소 [eqn: x _{i} ``(i=1,...,m)]를 통해 [eqn: z _{d} ``(d=1,...,D)]를 산출하며, [eqn: z _{d} `]가 2 단계의 투입 요소가 되어 [eqn: y _{r} ``(r=1,...,S)]를 산출한다. 여기서 [eqn: z _{d}]는 1 단계의 산출이자 2 단계의 투입이 되는 중간 측정치가 된다.

1 단계는 VRS Input-oriented Envelopment Model를 기반으로 중간 측정치 [eqn: ` tilde{z} ` _{dj _{o}} `]가 산출 요소인 [eqn: Min```` alpha] 선형계획모형으로 정의하였으며, 2 단계는 VRS Outnput-oriented Envelopment Model를 기반으로 중간 측정치 [eqn: ` tilde{z} ` _{dj _{o}} `]가 투입 요소인 [eqn: Max```` beta] 선형계획모형으로 정의하였다. 이는 결국 중간 측정치([eqn: ` tilde{z} ` _{dj _{o}} `])를 통해 1단계와 2 단계가 결합된 일체화된 모형으로 생각할 수 있다.

(수식 7)에서 제시된 Two-Stage DEA model의 합당성은 다음과 같다. (i) 우리가 1 단계에서의 R&D 운영 효율성을 고려할 때 주어진 산출물(output)에 대해 최소한의 투입물을 투입하기를 원한다. 즉 Best-practice로 인정되는 다른 연구과제와 비교하기를 원할 때 특허나 논문의 양이 주어져 있다면 우리는 어느 연구과제가 최소한의 예산과 인력을 사용했는지를 조사하기를 원한다. (ii) 또한 우리가 2 단계에서 R&D 성과물의 활용 효율성을 고려할 때 주어진 산출물에 대해 최대한의 결과물(outcome)을 생산해 내기를 원한다. 즉 즉 Best-practice로 인정되는 다른 연구과제와 비교하기를 원할 때 특허나 논문의 양이 주어져 있다면 우리는 어느 연구과제가 최대한의 기술수출액 및 사회 기여도가 있었는지를 조사하기를 원한다.

본 모델에서 "*" 기호를 모델의 최적값을 표현한다고 할 때 결과값이 [eqn: alpha ^{ *} = beta ^{ *} =1]이라면 투입 지향적(input-oriented)과 산출 지향적(output-oriented) 가변수익 포락 모델(VRS envelopment model)의 최적값인 [eqn: theta ^{*}]와 [eqn: phi ^{*}]는 각각 [eqn: theta ^{*}=1]과 [eqn: phi ^{*}=1]이 성립함을 의미한다. 이는 해당 R&D 가치사슬(평가대상 연구과제)의 두 단계를 하나의 전체프로세스로 보았을 때 효율적임을 의미한다. 만약 [eqn: alpha ^{*} =1]이고 [eqn: beta ^{*} >1] (or [eqn: alpha ^{*} <1] 이고 [eqn: beta ^{*} =1])이라면 본 모델은 주어진 최적의 중간 산출물(output)상에서  두 단계 중 한 단계에서만 100% 효율적임을 의미한다. 또한 [eqn: alpha ^{*} x _{ij _{0}} ```(i=1, CDOTS ,m)], [eqn: tilde{z _{dj _{0}} ^{*}} ```(d=1, CDOTS ,D)]  그리고 [eqn: beta ^{*} y _{rj _{0}} ```(r=1, CDOTS ,s)]는 각 평가대상 R&D 연구과제가 단계적 과정에서의 best-practice로 가기위한 벤치마킹 활동의 방향을 제시한다.

Ⅳ. 적용 사례

본 절에서는 (수식 7)에 제시된 Two-Stage DEA 모델을 ‘21세기 프론티어 연구개발 사업’의 16개 사업단 데이터를 적용해 보았다. 이 사업은 하위 구조로 16개 사업단을 구성하여 연간 100억 원 수준의 예산을 약 10년 동안 중장기적으로 지원하면서 각 사업단의 자체적 책임과 권한을 통해 국가 전략적 Top-down 연구를 추진하는 국내 최초의 중장기 대규모적 사업단 중심의 운영체제 사업이다. 중장기적인 안정적 대규모 예산 지원을 통해 기초연구에서 응용 및 개발, 그리고 사업화까지 전주기적인 연구개발 범위를 갖고 있으며, 미래의 신기술 및 신산업 창출을 위한 전략기술개발을 목표로 하고 있다.

기존의 연구에서는 연구개발(R&D) 분야의 효율성 측정을 위한 다단계 분석 모형이 정의된 것이 없다. 따라서 현재까지 정의된 기존의 유사한 개념과 자료들을 중심으로 논리적인 근거를 제시하여 간단한 모형을 제시하는 것이 필요하며, 실제 활용 가능한 수치적 데이터 측면을 고려하는 것이 중요하다.

본 연구에서는 연구개발사업의 효율성 분석을 위해 연구개발 수행 과정의 ‘연구개발’ 단계와 연구개발 성과를 사업화하기 위한 ‘기술이전’ 단계로 구성된 [그림 1]과 같은 2 단계 모형을 가정하였다.

[그림 ] 연구개발 사업의 2단계 모형

연구개발 단계에서는 투입된 정부예산과 연구기간을 통해 논문과 특허가 창출되는 것을 기본구조로 가정하고 있으며 이 과정에서는 연구를 기획하고 관리하며, 공공 연구 시설 및 장비의 활용을 통해 연구를 수행하는 정성적인 활동이 존재하고 있다. 기술이전 단계에서는 연구개발 단계에서 얻은 논문 및 특허와 같은 성과의 투입을 통해 기술료가 징수되는 것을 기본구조로 하였다. 기술료란 일반적으로 기술의 사용자가 계약형식으로 기술의 소유자에게 실시권을 부여 받거나 또는 기술자체를 양도받을 때 대가로 지불하는 것을 의미하며, 국가연구개발사업에서의 기술료는 정부출연금의 지원으로 획득된 기술개발사업의 성과를 이용하는 자가 그 반대급부로서 부담하는 대가로 볼 수 있다. 기술료가 발생하기 위해서는 확보된 기술을 이전하기 위한 조직, 인력들과 함께 인센티브와 같은 제도적인 지원이 근간 활동으로 필요하다.

각 사업단의 1 단계 투입 요소로는 정부투입예산, 연구기간을 선정하였고, 1 단계 산출 요소이자 2 단계 투입요소는 SCI 논문, 국내특허, 국외특허로 선정하였다. 2 단계의 산출요소는 기술료로 선정하였다. 사용된 데이터는 <표 1>에 제시되어 있으며 KISTEP 조사 데이터와 21세기 프론티어 사무국의 자료를 기반으로 구성하였다.

[표 1] 21세기프론티어연구개발사업 데이터

사업단명	정부예산 (억원)	연구기간 (년)	SCI 논문 (개)	국내특허 (개)	국외특허 (개)	기술료 (백만원)
1	104,630.0	9.0	422.0	102.0	17.0	476
2	90,566.0	9.0	861.0	389.0	118.0	414
3	97,796.0	9.0	238.0	169.0	4.0	2,281
4	97,466.0	9.0	655.0	206.0	25.0	2,604
5	87,276.0	8.0	512.0	220.0	19.0	1,540
6	87,578.0	8.0	324.0	172.0	23.0	55
7	85,726.0	8.0	247.0	58.0	0.0	424
8	68,186.0	8.0	285.0	78.0	15.0	705
9	73,636.0	7.0	866.0	125.0	52.0	1,453
10	67,066.0	7.0	569.0	128.0	17.0	2,688
11	68,666.0	7.0	230.0	82.0	10.0	2,646
12	75,626.0	7.0	360.0	177.0	18.0	1,672
13	67,448.0	7.0	506.0	41.0	6.0	184
14	54,776.0	7.0	327.0	62.0	9.0	690
15	61,545.0	6.0	314.0	82.0	1.0	1,470
16	62,584.8	6.0	673.0	81.0	12.0	723

<표 2>는 기존의 DEA 모형과 Chen and Zhu(2004)의 Two-Stage DEA 모형을 적용한 결과를 보여주고 있다. <표 2>의 네 번째부터 여섯 번째 열까지는 기존의 단일 단계 DEA 모형을 이용한 분석결과를 보여주고 있다. 네 번째 열은 (수식 5)의 투입지향적 포락 BCC 모형의 결과로써 1단계의 연구개발 활동의 효율성을 나타내고 있다. 즉, 정부예산과 연구기간을 투입물로 간주하고 SCI 논문수, 국내/외 특허수를 산출물로 간주하고 있다. 다섯 번째 열은 (수식 6)의 산출지향적 포락 BCC 모형의 결과로써 2단계의 기술이전 활동의 효율성을 나타내고 있다. 즉, SCI 논문수, 국내/외 특허수를 투입물로 간주하고 기술료를 산출물로 간주하고 있다. 여섯 번째 열은 (수식 5)의 투입지향적 포락 BCC 모형의 결과로써 전체 과정을 단일의 단계로 보고 투입물로는 정부예산과 연구기간을, 그리고 산출물로는 기술료를 사용하였다. 즉, 중간 산출물인 SCI 논문수, 국내/외 특허수를 고려하지 않은 결과이다.

[표 2] 측정 방법별 효율성 결과

사업단명	Two-Stage DEA		기존의 DEA
	α*	β*	θ*	φ*	Overall*
1	0.71713	5.64350	0.68918	5.59366	0.66667
2	0.72873	6.48962	1.00000	6.48962	0.67437
3	0.66753	1.16002	0.76113	1.00000	0.74065
4	0.66753	1.01613	0.80166	1.03226	0.77011
5	0.75097	1.71818	0.91857	1.74087	0.75718
6	0.80677	48.87273	0.85993	48.32084	0.75000
7	0.80677	6.34261	0.75000	1.00000	0.75000
8	0.85320	3.75319	0.85643	3.41249	0.83506
9	0.85825	1.82106	1.00000	1.84808	0.85714
10	0.96967	1.00000	0.96967	1.00000	1.00000
11	0.89112	1.00000	0.89112	1.00000	0.99507
12	0.85825	1.58291	0.98976	1.59255	0.88079
13	0.96585	14.60870	0.89440	1.00000	0.88965
14	1.00000	1.79904	1.00000	1.79904	1.00000
15	1.00000	1.00000	1.00000	1.00000	1.00000
16	1.00000	3.59239	1.00000	3.57670	1.00000
효율적 DMU 개수	3	3	5	6	4

참고) DEA 결과 효율성이 1인 값은 밑줄 표시함.

기존의 단일 단계 모형을 통한 결과를 자세히 살펴보면, 전체적으로 효율적인 사업단들이 반드시 각 단계별로 효율적임을 뜻하지는 않는다는 것을 알 수 있다. 전체 시스템 효율성 측정 결과에서 4개 사업단(10, 14, 15, 16)이 효율적으로 나타나고 있다. 그러나 사업단 10, 14, 16의 경우 독립적인 단계로 구분된 1단계와 2단계 효율성 측정 결과를 관찰해 볼 때, 연구개발 단계와 기술이전 단계에서 모두 효율적이지 않아도 전체 차원에서는 효율적인 사업단으로 나타나고 있다.

이러한 문제점을 극복하기 위해 각 단계가 연계된 효율성 측정을 통해 전체 시스템의 효율성을 새롭게 정의할 필요가 있다. 만일 혹자가 이러한 문제의 해결을 위해 각각의 연구개발 단계와 기술이전 단계의 가중치를 동일하게 1:1로 가정하고, 두 단계 각각의 효율성을 가중합(weighted sum)하여 각 단계에서 모두 효율적인 1개 사업단(15)이 전체적으로도 효율적이라고도 결론 내린다면 이는 또 다른 문제를 낳게 된다. 즉, 이러한 효율적 사업단의 판단은 비효율적인 다른 사업단들이 효율적으로 되기 위한  목표치를 산정하는데 있어서 각 단계별 관점의 투입물과 산출물의 목표치를 산출하게 되고 이는 중간 산출물의 목표치가 각 단계별 관점에서 동일하지 않은 문제가 생기게 된다. 이는 각 단계별로 독립적인 수치일 뿐 전체 시스템 차원에서 추구해야 하는 단일의 목표치를 도출하지 못한다는 한계를 의미한다.

이상과 같은 문제점을 해결하기 위하여 본 연구에서는 (수식 7)과 같은 Chen and Zhu(2004)의 Two-Stage DEA 모형을 적용하여 <표 2>의 두 번째와 세 번째 열에  그 결과를 보여주고 있다. Two-Stage DEA 모형을 통해서는 (수식 7)과 같이 각 단계가 중간측정치(Intermediate Measure)로 연결되었기 때문에, 단일의 중간 측정치의 개선을 통해 전체 시스템 차원에서 더 효율적으로 향상될 수 있는 기회를 제공할 수 있다. 연구개발 단계와 기술이전 단계의 가중치를 동일하게 1:1로 설정했을 때의 효율성 결과는 1단계(연구개발)에서는 3개(14,15,16) 사업단이 효율적이며, 2단계(기술이전)에서는 3개(10,11,15) 사업단이 효율적으로 나타났다. 결과적으로 1단계와 2단계에서 모두 효율적인 사업단은 1개(15)로 나타났다. 이는 연구개발 단계에서 효율적인 사업단은 전체의 19% (14,15,16)이며, 기술이전 단계에서 효율적인 사업단은 전체의 19% (10,11,15)로 해석할 수 있다. 연구개발과 기술이전에 모두 효율적인 사업단은 전체의 6% (15)라 할 수 있다.

Two-Stage DEA 모형을 통해서는 단순히 효율성의 결과뿐 아니라, 전체 시스템 차원에서 최적화된 목표치를 계산할 수가 있다. (수식 7)을 통해 도출되는 [eqn: ` tilde{z} ` _{dj _{o}} `]값은 중간 측정치(Intermediate)의 목표치가 되며, 1단계 투입 및 2단계 산출에 대한 목표치는 (수식 7)을 통해 <표 3>과 같이 도출되는 λ와 μ값을 통해 <표 4>과 같이 계산할 수 있다.

[표 3] 2-단계적 DEA 계산 파라미터 결과

사업단	α					β
		λ2	λ14	λ15	λ16		μ7	μ10	μ11	μ13	λ15
1	0.71713	0.151		0.369	0.480	5.64350		1.000
2	0.72873	0.157	0.087	0.288	0.468	6.48962		1.000
3	0.66753	0.003		0.207	0.791	1.16002			1.000
4	0.66753	0.003		0.207	0.791	1.01613			1.000
5	0.75097	0.003		0.207	0.791	1.71818			1.000
6	0.80677	0.151		0.369	0.480	48.87273		1.000
7	0.80677	0.151		0.369	0.480	6.34261		1.000
8	0.85320	0.045	0.691	0.264		3.78062			1.000
9	0.85825	0.003		0.207	0.791	1.82106			1.000
10	0.96967	0.169	0.279	0.109	0.442	1.00000		1.000
11	0.89112	0.014	0.195	0.267	0.524	1.00000			1.000
12	0.85825	0.003		0.207	0.791	1.58291			1.000
13	0.96585	0.168	0.257	0.130	0.445	14.60870		1.000
14	1.00000		1.000			1.79904	0.260		0.404	0.335
15	1.00000			1.000		1.00000					1.000
16	1.00000			0.189	0.811	3.59239			0.980	0.020

예를 들면, 사업단 1은 <표 3>의 결과를 볼 때, 1단계 투입요소(Input)에 대한 목표치는 사업단 2, 15, 16을 각 λ 비중만큼 벤치마킹하여 계산할 수 있으며, 2단계 산출요소(Outcome)에 대한 목표치는 사업단 10을 μ 만큼 벤치마킹하여 계산할 수 있다. 이를 통해서 중간 측정치를 포함한 전체 투입 및 산출요소에 대한 목표치는 <표 4>과 같이 계산되었다.

[표 4] 각 사업단 요소별 목표치 계산 결과

사업단	Input		Output(Intermediate)			Outcome
	정부예산	연구기간	SCI 논문	국내특허	국외특허	기술료
1	104,630.0 ▽(66,426.3)	9.0 ▽(6.5)	422.0 ▴(569.0)	102.0 ▴(128.0)	17.0 (17.0)	476.3 ▴(2,688.0)
2	90,566.0 ▽(65,999.0)	9.0 ▽(6.6)	861.0 ▽(569.0)	389.0 ▽(128.0)	118.0 ▽(25.2)	414.2 ▴(2,688.0)
3	97,796.0 ▽(62,516.1)	9.0 ▽(6.0)	238.0 ▽(230.0)	169.0 ▽(82.0)	4.0 ▴(10.0)	2,281.0 ▴(2,646.0)
4	97,466.0 ▽(62,516.1)	9.0 ▽(6.0)	655.0 ▽(230.0)	206.0 ▽(82.0)	25.0 ▽(10.0)	2604.0 ▴(2646.0)
5	87,276.0 ▽(62,516.1)	8.0 ▽(6.0)	512.0 ▴(599.3)	220.0 ▽(82.0)	19.0 ▽(10.0)	1,540.0 ▴(2,646.0)
6	87,578.0 ▽(66,426.3)	8.0 ▽(6.5)	324.0 ▴(569.0)	172.0 ▽(128.0)	23.0 ▴(24.0)	55.0 ▴(2,688.0)
7	85,726.0 ▽(66,426.3)	8.0 ▽(6.5)	247.0 ▴(569.0)	58.0 ▴(128.0)	0.0 ▴(17.0)	423.8 ▴(2,688.0)
8	68,186.0 ▽(58,173.6)	8.0 ▽(6.8)	285.0 ▽(230.0)	78.0 ▴(82.0)	15.0 ▽(11.8)	705.0 ▴(,2646.0)
9	73,636.0 ▽(62,516.1)	7.0 ▽(6.0)	866.0 ▽(230.0)	125.0 ▽(82.0)	52.0 ▽(10.0)	1,453.0 ▴(2,646.0)
10	67,066.0 ▽(64,959.0)	7.0 ▽(6.8)	569.0 (569.0)	128.0 (128.0)	17.0 (17.0)	2,688.0 (2,688.0)
11	68,666.0 ▽(61,176.2)	7.0 ▽(6.2)	230.0 (230.0)	82.0 (82.0)	10.0 (10.0)	2,646.0 (2,646.0)
12	75,626.0 ▽(62,516.1)	7.0 ▽(6.0)	360.0 ▴(599.3)	177.0 ▽(82.0)	18.0 ▽(10.0)	1,671.6 ▴(2,646.0)
13	67,448.0 ▽(65,143.6)	7.0 ▽(6.8)	506.0 ▴(569.0)	41.0 ▴(128.0)	6.0 ▴(17.0)	184.0 ▴(2,688.0)
14	54,776.0 (54,776.0)	7.0 (7.0)	327.0 (327.0)	62.0 (62.0)	9.0 (9.0)	690.2 ▴(1,240.8)
15	61,545.0 (61,545.0)	6.0 (6.0)	314.0 (314.0)	82.0 (82.0)	1.0 (1.0)	1,470.0 (1,470.0)
16	62,584.8 ▽(62,388.2)	6.0 (6.0)	673.0 ▽(235.5)	81.0 ▴(81.2)	12.0 ▽(9.9)	723.0 ▴(2,596.8)
증가	0	0	6	5	4	13
유지	2	3	4	4	5	3
감소	14	13	6	7	7	0

※ 괄호는 DEA 분석 결과에 따른 목표값이며, 기본 데이터 대비 목표치의 증가 및 감소에 대해서 각각 ▴와 ▽로 표시함.

예를 들어, 사업단 6의 경우에는 현재는 비효율적인 사업단으로 평가되었지만 효율적으로 평가되기 위해서는 투입요소인 정부예산(87,578 -> 66,426.3)과 연구기간(8.0 -> 6.5 )의 투입을 목표치 만큼 줄이면서 중간 산출물인 SCI 논문수(324 -> 569), 국내특허(172 ->128), 국외특허(23 -> 24)를 각각의 목표치 만큼 중가 및 감소시키고 기술료(55 -> 2,688)를 목표치 만큼 증가시킬 때 비로소 효율적으로 평가 받을 수 있음을 보여주고 있다. 여기서 투입요소의 감소는 효율적인 사업단에 비하여 과잉된 예산과 연구기간의 투입되었음을 의미하므로, 향후 각 사업단의 예산 배분 시에 적정 연구비와 연구기간을 조정하기 위한 참고자료로 활용할 수 있을 것이다. 또한 사업단 6의 중간 산출물인 국내특허의 감소라는 목표치는 해당 요소를 산출하기 위해 투입되는 노력의 일부를 다른 요소들의 생산성 증가를 위한 노력으로 전환하는 것이 더 효율적이라는 의미로 해석할 수 있다. 이는 정량적인 측정치들의 단순한 증감에 집중하라는 것이 아니라, 각 단계별 주요 활동인 연구개발 단계의 기획 및 관리활동과 기술이전 단계의 조직 및 인력관리, 인센티브 제도 강화 등의 전략적 활동을 모색하는 데 노력을 기해야 한다는 것을 의미하기도 한다.

Ⅴ. 결 론

1. 연구 결과 및 이론적 시사점

본 연구에서는 기존의 최초 투입 대비 최종 성과로 구성된 단일 단계(single-stage) DEA 모형을 보완하기 위하여, 2단계의 프로세스를 거치는 가치사슬적 효율성을 측정하기 위한 확장된 모델을 사용하여 정부연구개발사업의 성과분석에 적용하였다. 따라서 기존과 달리 단기적 성과와 중장기적 성과 간의 관계를 고려한 효율성을 도출하였고, 가치사슬적 측면에서 전체 효율성 개선을 위한 각 요소들의 세부적인 비효율성의 원인과 현상을 분석해 보았다. 시뮬레이션에 적용된 사업은 21세기 프론티어 연구개발사업으로 10년간 16개 사업단을 지원하여 기초연구부터 산업화까지 전주기적 연구개발을 지원하는 사업이다. 이러한 중장기 연구개발에 대한 2단계 모형은 연구예산 및 연구시간을 투입하고 논문, 특허 등의 연구성과를 창출하는 1단계 연구개발 단계와, 1단계에서 도출된 연구성과들을 활용하여 기술료를 징수하는 2단계 기술이전 단계로 구성하였다. 이러한 2-단계 모델의 효율성을 독립적인 각 단계별 DEA로 분석 시 각 단계에서 모두 효율적이지 않아도 전체 차원에서는 효율적이거나, 반대로 각 단계에서 모두 효율적이지만 전체 시스템 차원에서는 효율적이지 않은 경우가 도출될 수 있다. 또한 각 단계가 서로 독립적으로 분석되었기 때문에 전체 차원의 효율성 확보를 위한 목표치의 도출에는 한계가 있었다. 반면 Chen and Zhu(2004)가 제안한 (수식 7)의 2-단계적 DEA 개념으로 분석 시에는 각 단계가 중간측정치로 서로 연계되므로, 프로세스 전체 차원에서 연계된 각 단계별 효율성의 결과가 도출되며, 전체 프로세스의 효율성 향상을 위한 모든 요소의 목표치를 설정할 수 있었다. 2-단계적 DEA 효율성 분석은 각 단계별 DEA 분석 결과보다 엄격한 효율성 결과를 나타내고 있으며, 효율적 사업단의 분포에서는 2-단계적 DEA 결과가 각 단계별 DEA 결과의 부분집합적 특성을 나타내고 있다.

2. 생산성 함의에 대한 실무적 시사점

2-단계적 DEA 분석을 통해 제시되는 목표치는 효율적인 사업단의 특성에 따라 각 요소가 증가 또는 감소하게 되는데, 여기서 감소의 의미는 다른 요소로의 전환을 통한 생산성 증가 또는 각 단계의 정성적 활동인 기획, 관리 등으로 노력의 전환을 의미한다. 이를 통해 사업의 평가 시 차년도 혹은 중장기적 성과목표를 설정하는데 있어 정량적인 근거 자료로 활용될 수 있을 것이다. Peer Review로 진행하고 있는 사업단의 현 단계평가를 고려해 볼 때, 2-단계적 DEA 효율성 분석결과의 활용 시에는 현 단계평가의 결과에 많은 영향을 미치면서, 성과 중심의 평가체제에 부합하는 측면으로 보완할 수 있을 것으로 판단된다.

3. 연구의 한계점

결론적으로 본 연구를 통해 중장기 연구개발성과에 대한 2-단계적 DEA 효율성 분석을 적용함으로써, 전체 프로세스 차원에서 효율성 결과의 우선순위를 명확하게 측정할 수 있으며, 비효율성에 대한 원인과 현상 분석을 통해 효율성 향상을 위한 적절한 목표치 제시에 기여할 수 있을 것으로 판단되었다. 다만 본 연구에서는 연구개발사업의 실험적 적용을 위해 단순하게 2-단계적 모형을 설정하였으나, 향후에는 연구개발사업의 환경과 특성을 반영한 다양한 내외부 요소들의 복잡한 관계를 정의하여 효율성을 측정할 수 있는 N-단계 DEA 모형을 수립하는 것이 필요하다고 생각된다. 이러한 부분이 보완된다면 Fare and Grosskopf(2000), Golany, Hackman and Passy(2003), Liang, Yang, Cook, and Zhu(2006) 등이 연구한 다단계 모형의 효율성 측정을 위한 수리적 문제의 해결법을 적용하여 현재 수준 보다 체계적이고 논리적인 연구개발사업의 평가 방법 수립에 있어 중요한 역할을 차지할 것으로 기대된다.

참 고 문 헌

강진수․이덕주․배성식(2004), "Web 기반 DEA/AHP를 이용한 R&D 프로젝트 선정 시스템 개발에 대한 연구," ｢2004 대한산업공학회 추계학술대회 논문집｣, pp.189-201.

고민수․이덕주(2002), "DEA를 이용한 OECD 국가별 연구개발 효율성 비교분석," ｢2001 대한산업공학회 추계학술대회 논문집｣, pp.35-89.

임호순․유석천․김연성(1999), "연구개발사업의 평가 및 선정을 위한 DEA/AHP 통합모형에 관한 연구," ｢한국경영과학회지｣, 24(4), pp.1-12.

Banker, R. D., A. Charnes, and W. Cooper (1984), "Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis," Management Science, Vol.30 No.2, pp.1078-1092.

Brown, W. and D. Gobeli (1992), "Observations on the Measurement of R&D Productivity: A Case Study," IEEE Transactions on Engineering Management, Vol.39 No.4, pp.325-331.

Karlsson, M., L. Trygg, and B. Elfstrom (2004), "Measuring R&D Productivity: Complementing the Picture by Focusing on Research Activities," Technovation, Vol.24 No.3, pp.179-186.

Seiford, L. and J. Zhu (1999), "Profitability and Marketability of the Top 55 U.S. Commercial Banks,"  Management Science, Vol.45 No.9, pp.1270-1288.

A Study on the Phased Efficiency Evaluation of R&D and Technology Transfer

* Primary Author, Korea Institute of Science & Technology Evaluation and Planning(kildonghong@kistep.re.kr)

** Corresponding Author, Korea Institute of Science & Technology Evaluation and Planning(kildonghong@kistep.re.kr)

*** Co-Author, Assistant Professor, Dept. of Management, Dongguk University-Seoul(kildonghong@dongguk.edu)

Kil-Dong Hong* ․ Kil-Dong Hong** ․ Kil-Dong Hong***

Abstract

This study explores the application of Two-stage data envelopment analysis(DEA) approach for the evaluation of R&D process which is composed of two stages such as (i)R&D stage and (ii)technology transfer stage. An usual attempt to deal with two-stage process is to apply the standard DEA model to each stage. However, such an approach may conclude that two inefficient stages lead to an overall efficient decision making unit(DMU) with the input of the first stage and outputs of the second stage. Consequently, improvement of one stage affects the efficiency status of the other, because of the presence of intermediate measures. In this study, we applied the Chen and Zhu(2004)'s model to the two-stage R&D process in order to guarantee an overall efficient two-stage process when each process is efficient, and provide a DEA projection with a set of optimal intermediate measures for inefficient DMUs.

This study explores the application of Two-stage data envelopment analysis(DEA) approach for the evaluation of R&D process which is composed of two stages such as (i)R&D stage and (ii)technology transfer stage. An usual attempt to deal with two-stage process is to apply the standard DEA model to each stage. However, such an approach may conclude that two inefficient stages lead to an overall efficient decision making unit(DMU) with the input of the first stage and outputs of the second stage. Consequently, improvement of one stage affects the efficiency status of the other, because of the presence of intermediate measures. In this study, we applied the Chen and Zhu(2004)'s model to the two-stage R&D process in order to guarantee an overall efficient two-stage process when each process is efficient, and provide a DEA projection with a set of optimal intermediate measures for inefficient DMUs.

This study explores the application of Two-stage data envelopment analysis(DEA) approach for the evaluation of R&D process which is composed of two stages such as (i)R&D stage and (ii)technology transfer stage. An usual attempt to deal with two-stage process is to apply the standard DEA model to each stage. However, such an approach may conclude that two inefficient stages lead to an overall efficient decision making unit(DMU) with the input of the first stage and outputs of the second stage. Consequently, improvement of one stage affects the efficiency status of the other, because of the presence of intermediate measures. In this study, we applied the Chen and Zhu(2004)'s model to the two-stage R&D process in order to guarantee an overall efficient two-stage process when each process is efficient, and provide a DEA projection with a set of optimal intermediate measures for inefficient DMUs.

Key words : R&D process evaluation, DEA, Two-stage process, Intermediate measure